iT邦幫忙

2023 iThome 鐵人賽

DAY 29
0
AI & Data

紮實的ML機器學習原理~打造你對資料使用sklearn的靈敏度系列 第 29

DAY 29 「Kaggle 貓狗分類」來做模型融合+超參數調優進行分類啦~

  • 分享至 

  • xImage
  •  

模型融合的過程中進行超參數調優~

Kaggle 貓狗分類競賽中應用模型融合並進行超參數調優來提高準確率

/images/emoticon/emoticon01.gif其實在實際應用中,超參數調優是提升模型性能的重要一步,可以嘗試不同的超參數組合以獲得最佳的效果,也可以嘗試其他的模型融合方法和模型選擇以進一步提升性能囉~~

import pandas as pd
from sklearn.ensemble import RandomForestClassifier, GradientBoostingClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
from sklearn.model_selection import GridSearchCV

# 加載數據
train_data = pd.read_csv('train.csv')
test_data = pd.read_csv('test.csv')

# 提取特征和目標
X = train_data.drop('label', axis=1)
y = train_data['label']

# 劃分訓練集和驗證集
X_train, X_val, y_train, y_val = train_test_split(X, y, test_size=0.2, random_state=42)

# 定義多個基模型
rf_model = RandomForestClassifier(random_state=42)
gb_model = GradientBoostingClassifier(random_state=42)
lr_model = LogisticRegression(max_iter=1000, random_state=42)

# 定義超參數網格
param_grid = {
    'n_estimators': [50, 100, 200],
    'max_depth': [5, 10, 15]
}

# 使用 GridSearchCV 進行超參數調優
rf_grid_search = GridSearchCV(rf_model, param_grid, cv=3, scoring='accuracy', verbose=2, n_jobs=-1)
rf_grid_search.fit(X_train, y_train)

best_rf_model = rf_grid_search.best_estimator_

# 訓練其他基模型
gb_model.fit(X_train, y_train)
lr_model.fit(X_train, y_train)

# 獲取基模型的預測結果
rf_preds = best_rf_model.predict(X_val)
gb_preds = gb_model.predict(X_val)
lr_preds = lr_model.predict(X_val)

# 使用簡單投票法進行模型融合
ensemble_preds = (rf_preds + gb_preds + lr_preds) // 2

# 計算準確度
ensemble_accuracy = accuracy_score(y_val, ensemble_preds)
print(f'Ensemble Accuracy on Validation Set: {ensemble_accuracy}')

加載了訓練集和測試集的數據,然後定義了隨機森林、梯度提升樹和邏輯回歸三個基模型,並使用 GridSearchCV 對隨機森林模型進行超參數調優。調優完成後,我們訓練了其他兩個基模型。接著,我們將它們的預測結果進行簡單投票,得到最終的預測結果。最後,我們使用準確度來評估模型在驗證集上的性能。


上一篇
DAY 28 「Kaggle 鐵打尼號」來做模型融合快速提高預測啦~
下一篇
DAY 30 「Kaggle Fashion MNIST數據集」來做CNN模型融合10種不同的服裝分類啦~
系列文
紮實的ML機器學習原理~打造你對資料使用sklearn的靈敏度30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言